Cuando el contexto regresa: hacia una internalización robusta
Descubre cómo la reintroducción del contexto puede degradar el rendimiento de modelos destilados y cómo un nuevo regularizador de consistencia lo soluciona.
#degradación por contexto
Cuando el contexto regresa: internalización robusta en destilación on-policy
¿Sabías que reintroducir el contexto a un modelo destilado puede empeorar su rendimiento? Descubre cómo un ligero regularizador lo evita.